Leo XII sinh tại La Genga, Spoleto ngày 22 tháng 8 năm 1760 với tên thật là Annibale Sermattei della Genga.

Ông sinh ra trong một gia đình thuộc giới quý tộc Giáo hoàng, ông học tại hàn lâm viện các quý tộc giáo hội.

Năm 1783 ông thụ phong linh mục. Sau đó, đức Pius VII đã làm cho ông trở thành một phòng hộ Giáo hoàng bí mật.

Năm 1793, ông được bổ nhiệm làm tổng giám mục Tyr và được cử đi làm khâm sú Tòa thánh tại Lucerne. Sự nghiệp ngoại giao của ông kéo dài đến tận năm 1798. Bực mình về cách cư xử của Napoleon Bonaparte, ông lui về một trong những đan viện được trao ban bổng lộc của ông.

Năm 1814, khi hoàng đế bị sụp đổ, ông được cử mang lời chúc mừng của Giáo hoàng đến Louis XVIII.

Năm 1816, ông đạt đến chức hồng y, rồi năm 1820 ông được bổ nhiệm làm giám quản Rôma.